脑机接口brain–computer interface,可以从非侵入性记录中解码连续语言,从而带来了许多科学和实际应用。然而,目前,非侵入性语言解码器,仅能从一小部分单词或短语中识别刺激。
近日,美国 得克萨斯大学奥斯汀分校(University of Texas at Austin)Jerry Tang,Alexander G. Huth等,在Nature Neuroscience上发文,报道了一种非侵入式解码器,可以从使用功能磁共振成像functional magnetic resonance imaging(fMRI)记录的皮层语义表征中,重建连续语言。在给定新颖的大脑记录,该解码器生成可理解的单词序列,恢复感知语音、想象语音甚至无声视频的含义,实验证明了单个解码器,可以应用于一系列任务。还测试了跨大脑皮层的解码器,发现连续语言,可以从多个区域分别解码。由于脑机接口应该尊重精神隐私,为此,实验测试了成功的解码是否需要主体合作,并发现训练和应用解码器都需要主体合作。该项研究证明了非侵入式语言脑机接口的可行性。 Semantic reconstruction of continuous language from non-invasive brain recordings.
图1:语言解码器。
图2:跨皮层区域解码。
图3:解码器应用和隐私影响。
图4:解码错误来源。
https://www.nature.com/articles/s41593-023-01304-9https://doi.org/10.1038/s41593-023-01304-9